Khác với các triều đại khác, Bắc Tề chỉ có mấy vị hoàng đế, đều là anh truyền em nối chứ không phải cha truyền con nối. Cao Đam là em ruột của Hiếu Chiêu Đế Cao Diễn. Năm 561, anh trai mới chết, Cao Đam lập tức kế vị, tức Bắc Tề Vũ Thành Đế[2], Hồ thị được lập làm hoàng hậu.

Vũ Thành Đế là vị vua đẹp nhất trong các triều đại phong kiến nước này. Tuy nhiên, thật đáng tiếc, trái ngược hoàn toàn với dung mạo hào hoa, Cao Trạm lại là một ông vua vô dụng, ngày ngày đắm chìm trong tửu sắc. Trong suốt thời gian trị vì, ông chỉ dành phần lớn thì giờ của mình cho tiệc tùng và ham mê khoái lạc, bỏ bê chính sự khiến hệ thống chính trị của Bắc Tề nhanh chóng suy biến.

Dung nhan Hoàng hậu của Hiếu Chiêu Đế Cao Diễn - Nguyên Thị cũng bình thường, lại khúm núm, bảo sao nghe vậy, một người nghiêm túc nên Cao Trạm không thích bà ấy lắm. Nhưng ngược lại, hoàng hậu của Văn Tuyên Đế Cao Dương - Lý Tổ Nga lại xinh đẹp hơn người, vô cùng quyến rũ. Anh trai của Cao Dương - Cao Trừng - lúc đó từng ra tay với em dâu của mình, cưỡng hiếp Lý Tổ Nga. Đến khi Cao Trạm kế vị, ông cũng không buông tha cho chị dâu của mình, ngang nhiên ra tay với Lý Tổ Nga.

Mặc dù là thái hậu cao quý nhưng cũng không có cách gì chống lại hoàng đế đương quyền, Lý Tổ Nga vì muốn giữ mạng nên ỡm ờ chiều theo Cao Trạm. Sau đó, Cao Trạm ngày nào cũng ở lại cung của Lý Tổ Nga, thậm chí vì vậy mà còn lạnh nhạt với đương kim hoàng hậu Hồ thị. Nhưng Hồ thị này cũng không tầm thường, theo quan điểm hiện đại, Hồ thị giống như một người nữ quyền cực đoan, chồng lại đi qua lại với phụ nữ khác, bà cũng sẽ không khoanh tay đứng nhìn. Bà nghĩ Cao Trạm là hoàng đế thì mình cũng là hoàng hậu, ắt cũng có thể qua lại với nhiều đàn ông.

Khi ấy Bắc Tề có một gian thần nổi tiếng là Hòa Sĩ Khai, người vốn được Vũ Thành tin tưởng nhất trong triều. Hồ hoàng hậu biết Hòa Sĩ Khai giỏi chơi cờ, nên một lần gặp Cao Trạm đòi Cao Trạm phải dạy mình chơi cờ. Cao Trạm vì không muốn mất thời gian với bà vợ già để dành toàn bộ tâm trí cho người chị dâu Lý Tổ Nga nên quyết định cho mời đại thần Hòa Sĩ Khai vào hậu cung dạy Hoàng hậu chơi cờ. Một người đàn ông xuất hiện giữa chốn hậu cung bị Hoàng đế bỏ rơi suốt một thời gian dài như vậy, chẳng nói, ai cũng biết chuyện gì sẽ xảy ra. Ông ta không chỉ tuấn tú mà còn ăn nói ngọt ngào, đánh đàn cũng rất hay, thế là bị Hồ thị ngắm trúng, chủ động quyến rũ ông ta. Hòa Sĩ Khai này cũng không phải một món đồ, biết Hồ thị bản tính phóng đãng, chủ động giao hảo với bà. Hai người dần dần có gian tình. Thế là trong suốt một thời gian dài sau đó, mượn cớ vào cung dạy Hoàng hậu chơi cờ, Hồ Hoàng hậu và Hòa Sĩ Khai tha hồ quấn quýt bên nhau. Hồ thị cũng không kiêng kị gì, làm chuyện đó với Hòa Sĩ Khai ngay ở tẩm cung của mình vào buổi sáng.

Hoàng hậu của mình làm ra chuyện bê bối thế này, lẽ nào Cao Trạm không biết? Mặc dù ông có lờ mờ nghe được nhưng vì mình là người ngủ với chị dâu trước, vốn đã đuối lý nên cũng mắt nhắm mắt mở với Hồ thị. Sau đó, Lý Tổ Nga thậm chí còn mang thai con của Cao Trạm, Cao Trạm càng không thể ngẩng đầu trước mặt Hồ thị, Hồ thị bảo sao thì Cao Trạm nghe vậy. Hồ thị nhân cơ hội đưa ra yêu cầu, để Cao Trạm sắc phong tình nhân của mình Hòa Sĩ Khai làm hoàng môn thị lang. Hòa Sĩ Khai được tự do ra vào hoàng cung.

Mặc dù Cao Trạm và Lý Tổ Nga thực chất có quan hệ tình nhân nhưng trên danh nghĩa, Lý Tổ Nga là chị dâu của Cao Trạm, nhưng Cao Trạm khăng khăng muốn Lý Tổ Nga sinh đứa trẻ này. Vì tránh để mọi người đàm tiếu, Lý Tổ Nga chỉ ở trong cung  điện, không ra ngoài, yên tâm dưỡng thai, đến con trai của mình - Thái Nguyên vương Cao Thiệu Đức cũng không triệu kiến. Cao Thiệu Đức nhờ người chuyển lời với mẫu thân, nói rằng mình đã biết Lý Tổ Nga mang thai nên mới không dám gặp mình.

Lý Tổ Nga nghe xong vô cùng hổ thẹn, mười tháng mang thai sinh ra một bé gái, bà liền để đứa bé chết chìm trong chậu nước, Cao Trạm rất tức giận, ông nói với Lý Tổ Nga: “Ngươi giết con gái ta, ta cũng phải giết con trai ngươi”, thế là, ông triệu Cao Thiệu Đức đến cung đánh chết, lại lệnh đuổi Lý Tổ Nga, vậy mới dần dịu cơn giận.

Trong cung đã không còn Lý Tổ Nga, Cao Trạm lại nhớ đến những điểm tốt của hoàng hậu Hồ thị, nên đã vô cùng sủng ái bà, đêm nào cũng triệu bà đến thị tẩm. Nhưng lúc này Hồ thị đã ở bên Hòa Sĩ Khai rồi, căn bản không hề để ý Cao Trạm. Thế là, bà lấy cớ Hòa Sĩ Khai dạy mình dùng binh khí để ngày ngày ở bên Hòa Sĩ Khai, Cao Trạm cũng không thể làm gì được.

Năm 565, do có các dấu hiệu chiêm tinh cho thấy rằng ngôi vị hoàng đế cần phải thay đổi, và cũng do muốn lấy lòng Hồ hoàng hậu và Cao Vĩ, các sủng thần của Vũ Thành Đế là Hòa Sĩ Khai (和士開) và Tổ Thỉnh (祖珽) đã đề xuất Vũ Thành Đế nên tránh điềm xấu này bằng cách truyền ngôi cho Cao Vĩ. Cao Trạm vốn đã không thích xử lý triều chính, cũng tiện cho ông chìm vào nữ sắc, thế là vui vẻ đồng ý và Cao Vĩ đã trở thành hoàng đế khi mới được 8 tuổi, tức Bắc Tề Hậu Chủ. Tuy nhiên, Vũ Thành Đế trở thành Thái thượng hoàng và vẫn nắm quyền lực thực tế. Hồ thị trở thành Thái thượng hoàng hậu.

Vào mùa xuân năm 568, Vũ Thành Đế lâm bệnh nặng, và một viên quan tên Từ Chi Tài (徐之才), một y sinh được đào tạo, đã chữa cho ông khỏe lại. Tuy nhiên, sau khi Thái thượng hoàng phục hồi, Hòa Sĩ Khai đã đưa Từ Chi Tài đi làm thứ sử ở Duyện Châu (兗州)[3]. Sang mùa đông năm 568, Thái thượng hoàng lại đổ bệnh và ông cho triệu Từ Chi Tài đến chữa trị. Tuy nhiên, trước khi Từ Chi Tài có thể đến nơi, Thái thượng hoàng đã qua đời.